NITP: Next Implicit Token Prediction for LLM Pre-training
NITP：用下一隐式Token预测增强LLM预训练表示
🧭 LLM预训练 · 表示级监督 ★ 深度解读
School of AI, Shanghai Jiao Tong University · Xiaohongshu Inc. · University of Science and Technology of China · The Chinese University of Hong Kong
用模型浅层表示作为连续自监督目标，显式约束隐藏状态几何，有效缓解NTP的表示退化
📌 工作参考价值（4 点）
- 低成本的表示质量提升手段：仅增加约2%的训练FLOPs，无需额外推理开销，可移植到任何基于Transformer的推荐模型预训练中，改善物品/用户表示的各向异性与退化。
- 浅层作为语义锚点：利用模型自身浅层输出作为连续监督目标，无需外部编码器，这一自蒸馏思路可直接用于序列推荐中的状态表示学习，例如用中间层表示约束最终隐藏状态。
- 余弦相似度作为稳定辅助损失：相比MSE或KL散度，余弦损失在跨层表示对齐中更稳定，可避免梯度尖峰，适合在工业级大模型训练中作为正则项。
- 几何正则化的显式设计：论文揭示了NTP目标在表示空间的零空间问题，并通过理论证明NITP在该零空间引入正曲率，这对于理解并缓解推荐模型中常见的嵌入维度坍缩有直接启发，可尝试为召回/排序模型添加类似隐式预测目标。